[Amazon SageMaker] 撮影と同時にアノテーションを追加してAmazon SageMaker Ground Truth形式のデータを作成してみました

SIN

2020.04.20

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

1 はじめに

CX事業本部の平内（SIN）です。

Amazon SageMaker Ground Truth (以下、Ground Truth)で物体検出（Bounding box）用に作成されたデータセットは、Amazon RekognitionのCustom Labelsや、Amazon SageMaker(以下、Sage Maker)のビルトインオブジェクト検出にそのまま利用できます。

参考：[Amazon SageMaker] Amazon SageMaker Ground Truth で作成したデータを使用してオブジェクト検出でモデルを作成してみました

今回は、このGround Truthで作成されるデータ形式に併せて、写真撮影とアノテーションを一気に行えるようにしてみました。

以前に、RekognitionのCustom Labels用に作成したものと、同等です。

[Amazon Rekognition] Custom Labelsのデータセットを高速に作成するアプリを作ってみました

上記は、データ（画像及び、アノテーション）の保管をS3にしたため、若干、操作が重たくなってしまったのと、OpenCV.JSが、メモリ周りでちょっと使いづらかったので、今回は、ローカル保存でPython版となっています。

最初に、使用している様子です。

矩形の検出は、OpenCVで２値化した画像を元に作成していますが、状況に併せてその閾値を調整できます。また、対象物によっては、背景（明暗）を変えた方が検出しやすいようです。ラベルは、テキストで指定され、撮影と同時にアノテーション情報として保存されます。

2 コード

メインの処理は、下記の通りです。

OpenCVでWebカメラの画像を読み取り、各クラスで、それぞれ処理しています。

撮影クラス(Shoot) モニター表示（アノテーション含む）する
アノテーションクラス（Annotation) 画像から矩形を検出する
マニフェストクラス（Manifest）output.manifestを生成する
コントロールクラス（controller) 矩形検出のためのしきい値等を設定する

モニター画面のシャッターをクリックすると、その時点の矩形と画像を保存するようになっています。

import cv2
import time

import shoot as sh
import annotation as an
import controller as cn
import manifest as ma

# 設定
outputPath = "/xxxxx/VoTT-DataSet/tmp0"
s3Path = "s3://my-bucket/MyProject"
projectName = "MyProject"

def main():

# カメラ初期化
deviceId = 3 # Webカメラ
height = 600
width = 800
cap = cv2.VideoCapture(deviceId)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, width)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, height)

fps = cap.get(cv2.CAP_PROP_FPS)
width = cap.get(cv2.CAP_PROP_FRAME_WIDTH)
height = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)
print("FPS:{}　WIDTH:{}　HEIGHT:{}".format(fps, width, height))

# アノテーションクラス初期化
scale = 0.5
annotation = an.Annotation(width, height, fps, scale)

# コントロールクラス初期化
threshold = 120 # ２値化の敷居値
only_one = 1 # １件だけ検出する
margin = 0 # 余白
inversion = 0 # 白黒反転
controller = cn.Controller(threshold, only_one, margin, inversion)

# マニフェストクラス初期化
manifest = ma.Manifest(outputPath, width, height, s3Path, projectName)

# 撮影クラス初期化
shoot = sh.Shoot(width, height)

while True:

# カメラ画像取得
ret, frame = cap.read()
if(frame is None):
continue

# ラベル読み込み
with open('./label.txt') as f:
label = f.read()

if(shoot.Shutter()):
# 画面をグレーにする
shoot.dispGray(frame.copy())
# 名前作成
fileName = "{}-{}".format(label, int(time.time() * 1000000))
# 画像保存
cv2.imwrite("{}/{}.jpg".format(outputPath, fileName), frame)
# アノテーション保存
manifest.save("{}.jpg".format(fileName), annotation.rectangles, label)
time.sleep(0.5)
print("saved")

# コントローラ表示
controller.disp()
# アノテーション取得
annotation.detection(frame.copy(), controller)
# モニター表示
shoot.disp(frame.copy(), annotation.rectangles, label)

cv2.waitKey(1)

cap.release()
cv2.destroyAllWindows()

main()